Tháng 8 năm thứ 5 (1169), được bái Hữu bộc xạ, Đồng trung thư môn hạ bình chương sự (quan, chính nhất phẩm) kiêm Xu mật sứ (quan, tòng nhất phẩm). Doãn Văn tiến cử nhiều danh sĩ, như Hồng Thích, Uông Ứng Thần. Ông ghi nhận các nhân tài làm tướng vào "Tài quán lục", chia làm 3 đẳng; những người được tiến cử, như Hồ Thuyên, Chu Tất Đại, Vương Thập Bằng, Triệu Nhữ Ngu, Triều Công Vũ, Lý Đảo, triều đình đều thu dùng, căn cứ vào tài liệu của Doãn Văn. Đế lo binh sĩ nhàn rỗi gây lãng phí, ông cùng Trần Tuấn Khanh bàn nên cách đi tạp dịch của tam nha, cắt bỏ những người nhàn rỗi, ba quân không hề oán trách.

Năm thứ 6 (1170), Tả bộc xạ Trần Tuấn Khanh tâu xin giữ lại Cung Mậu Lương nên trái ý đế, phải đi khỏi triều đình, đợi mệnh ở Chiết Giang Đình; đế giận, 2 ngày không trả lời. Doãn Văn ra sức can ngăn, đế bèn mệnh Tuấn Khanh làm Phán Phúc Châu.

Triều đình lấy Phạm Thành Đại làm sứ giả, muốn cầu cúng ở lăng tẩm. Nước Kim không đồng ý, còn đưa 30 vạn kỵ binh đến lăng tẩm ở Phụng Thiên, dò xét rồi về. Trong ngoài bối rối, tướng soái Kinh, Tương đều xin tăng thêm lính thú, Doãn Văn cho rằng đó chỉ là hư trương thanh thế, nên tâu rằng chẳng cần làm thế. Triều đình tranh luận không thôi, ông đứng một mình im lặng, kẻ địch quả nhiên không làm gì.

Từ khi Trang Văn thái tử Triệu Kỳ mất, vị trí Hoàng trữ bỏ trống. Doãn Văn dâng sớ, nhiều lần cầu xin. Tháng giêng ÂL năm thứ 7 (vẫn còn là năm 1170), sau khi dâng lên tôn hiệu của 2 cung (thượng hoàng Cao Tông và Hiếu Tông), triều đình bắt đầu bàn định, Cung vương Triệu Đôn mới được lập làm Hoàng thái tử. Đất chăn ngựa của Thị vệ Mã quân tư vốn ở Lâm An, ông cho rằng đất ấy nhỏ hẹp không phù hợp với việc chăn nuôi, xin dời đến Trấn Giang,nhưng hoãn cấp ngựa dùng làm phương tiện qua sông. Ba quân oán thán, người ta đem việc này ra đàm tiếu.

Hồ Thuyên bị ngự sử đàn hặc phải đi khỏi triều đình, Doãn Văn tâu xin giữ ông ta làm Kinh diên [9]. Thuyên tiến cử Chu Hi, đế hỏi ông có biết Hi không? Doãn Văn cho rằng Hi không ở dưới Trình Di, đế triệu nhưng Hi không đến. Kiểm cổ viện làm 6 điều ức chế người dâng thư, ông ra sức nói việc này không thể làm được, đế nghe theo.

Vào dịp Khánh tiết (chúc thọ), sứ Kim là phò mã Ô Lâm Đáp Thiên Tích đến, kiêu ngạo vô lễ quá lắm, gắng mời đế đi thăm Kim đế, đế không nhận lời, Thiên Tích quỳ không dậy, thị thần luống cuống không biết làm sao!? Doãn Văn mời đại giá về cung, bỏ mặc sứ Kim, Thiên Tích xấu hổ đành lui ra.

Đế cho rằng bộc xạ không chính danh, đổi làm tả, hữu thừa tướng. Tháng 2 năm thứ 8 (1172), thụ Doãn Văn đặc tiến (gia quan, tòng nhất phẩm), Tả thừa tướng kiêm Xu mật sứ, Lương Khắc Gia làm Hữu thừa tướng. Ông thường đề cử Khắc Gia làm thừa tướng duy nhất, đế không cho. Đế muốn cho Tào Huân làm Xu mật, Doãn Văn chê nhân phẩm của Huân thấp kém, không thể dùng. Sau đó Doãn Văn lấy Trương Thuyết làm Thiêm thư Xu mật viện sự, Hữu chính ngôn Vương Hi Lữ cùng đài quan hặc ông. Đế giận Hi Lữ lắm, viết chiếu đày ông ta thật xa. Ông rút Hi Lữ về, đế càng giận. Lương Khắc Gia nói: "Hi Lữ bàn về Trương Thuyết, là đài cương (cương lĩnh của đài quan) vậy; tả tướng cứu giúp Hi Lữ, là quốc thể vậy." Cơn giận của đế mới tan, rốt cục bỏ qua hình phạt của Hi Lữ.

Tháng 4, ngự sử Tiêu Chi Mẫn hặc Doãn Văn, ông dâng chương đợi tội. Đế đi qua Đức Thọ cung, thượng hoàng nói không nên để Doãn Văn đi. Đế đuổi Chi Mẫn ra khỏi triều, còn đề thơ trên quạt để giữ ông lại. Doãn Văn nói Chi Mẫn đoan chính ngay thẳng, xin triệu ông ta về làm Ngôn lộ (tức Ngôn quan hay Gián quan) cho nhà vua. Đế cho rằng lời của ông khoan hậu, mệnh Tằng Hoài ghi vào "Thời chánh ký".

Đế mệnh tuyển gián quan, Doãn Văn cho rằng Lý Ngạn Dĩnh, Lâm Quang Triều, Vương Chất Đối, 3 người đều trung thực thanh cao, lại có học vấn cao, nên cố tiến cử, nhưng lâu ngày không được trả lời. Tằng Địch tiến cử 1 người, người đó được thăng ngay làm Gián nghị đại phu. Ông và Lương Khắc Gia tranh luận, nhưng đế không theo. Doãn Văn xin ra ngoài, thụ Thiếu bảo (gia quan, chính nhất phẩm), Vũ An quân tiết độ sứ (võ quan, tòng nhị phẩm), Tứ Xuyên tuyên phủ sứ, tiến phong Ung quốc công. Ông đến từ biệt, đế rót rượu làm thơ đưa tiễn, còn ban đồ cúng tế cho gia miếu.